[アップデート] Amazon MSK レプリケーターが東京リージョンで使えるようになったので構成してみた

#Amazon MSK

#AWS

いわさ

2024.02.10

いわさです。

先日のアップデートで Amazon MSK のレプリケーターという機能が東京リージョンでも使えるようになったというアナウンスがありました。

MSK レプリケーターってなんだっけと思ったのですが、調べてみると 2023 年 10 月に登場したばかりの機能で、MSK クラスター間でマルチリージョンレプリケーションを実現させるためのマネージドサービスだそうです。

なぜか DevelopersIO に記事がない...!
これはイカンということで、今回は MSK レプリケーターを東京リージョンで構成して使ってみましたので手順などを紹介したいと思います。

MSK レプリケーターの設定方法

Amazon MSK のサイドメニューに次のように新しく追加されています。

東京リージョンでは使えますが、大阪リージョンでは使えないのでご注意ください。シンガポールリージョンは使えました。対象リージョンは次のドキュメントをご確認ください。

MSK クラスターは現在はプロビジョニングとサーバーレスが存在していますが、MSK レプリケーターはどちらもサポートしています。組み合わせも任意のようです。
ただしクラスターの実行バージョンは Apache Kafka 2.7.0 以上である必要があり、m5.large 以上のインスタンスタイプを使ったクラスターである必要があるなど、いくつか前提条件があります。
利用を検討する際には次の「Supported cluster types and versions」には注意しましょう。

レプリケーションは単方向であり、ソースクラスターとターゲットクラスターを指定します。
同一リージョンでもクロスリージョンでも可能ですが、MSK レプリケーターはデプロイされるとそれぞれの VPC に ENI を作成して VPC 内部での通信を行います。

使ってみた

今回は東京リージョンに MSK サーバーレスクラスターを 2 つ作成し、レプリケーターを構成してみました。
それぞれサーバーレスクラスターを作成後に、新しく MSK レプリケーターを作成します。

ここのセキュリティグループを使って MSK レプリケーターはソースとターゲットのクラスターと通信することになりますので、通信の許可を行う必要があります。

ターゲットクラスターも同様ですが、どうやら MSK レプリケーターはソースクラスターと同一リージョンで作成する必要があるようです。
ソースクラスターのクラスターリージョンは選択出来たのですが、ターゲットクラスターのクラスターリージョンは選択が出来ませんでした。

最後にレプリケーターがレプリケーションする対象と圧縮オプションを指定するだけです。レプリケーターの構築自体は非常に簡単ですね。

作成後しばらく経過すると MSK レプリケーターのステータスが「実行中」になるはずです。
次の画像だと「失敗」ステータスになっているものがあると思いますが、これはターゲットのクラスターポリシーの編集が出来ていなかったために発生していました。エラーメッセージではネットワーク接続が...のように読み取れるのですが、何度か失敗した感じだと接続エラー全般このエラーになる様子なのでクラスターポリシーご注意ください。